Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents
边说边想：推理时知识迁移实现高响应智能语音助手
🧭 多智体协作 · 推理时知识迁移
Paul G. Allen School of Computer Science & Engineering, University of Washington
提出对话填充技术，用小模型即时生成响应并流式融合大模型知识，实现毫秒级首响应且精度接近前沿模型。
📌 工作参考价值（4 点）
- 在延迟敏感的电商客服或语音推荐场景中，可部署双模型架构：小模型（如 135M-1.7B）作为前台，秒级生成自然语言响应；大模型作为后台异步推理，输出精准结果后再流式更新小模型后续生成内容，平衡响应速度与答案质量。
- 借鉴「对话填充」任务设计，构建合成数据集训练小模型：用大模型生成的多轮对话作为 Reasoner 输出，让 Talker 学习在生成中途插入新事实而不中断话语流，此训练范式可直接复用于回复改写、澄清追问等场景。
- 工程实现上，可复用 ConvFill 的流式知识整合机制，让实时推荐结果（如补货提醒、优惠信息）在语音播报进行中动态插入，避免用户等待完整生成，提升感知流畅度。
- 用户研究结果显示，小模型方案在检索类任务中尤为受欢迎，提示在需要外部知识检索的对话推荐（如根据用户实时 query 调取商品知识库）中，该方案能同时满足低延迟和高准确率要求。